Pada 23 April 2006, beliau meninggal dunia di Pusat Perubatan Gleneagles Intan, Jalan Ampang, Kuala Lumpur pada jam 7:35 pagi kerana komplikasi jantung, paru-paru dan buah pinggang. Beliau berusia 81 tahun ketika menghembuskan nafas terakhirnya. Beliau telah dirawat 90 hari di beberapa hospital.

Jenazah beliau dikebumikan di Makam Pahlawan, Masjid Negara, Kuala Lumpur. Turut hadir ialah Yang di-Pertuan Agong, Syed Sirajuddin Syed Putra Jamalulail; Perdana Menteri Malaysia, Datuk Seri Abdullah Ahmad Badawi dan bekas isterinya Dayang Heryati binti Abdul Rahim.Sembahyang jenazah diketuai oleh Imam Besar Masjid Negara, Datuk Kamaruddin Zakaria dan pengkebumian diketuai oleh Timbalan Mufti Wilayah Persekutuan, Wan Halim Wan Harun.

Tun Abdul Ghafar merupakan negarawan ke-4 disemadikan di bawah kubah Makam Pahlawan selepas Tun Dr Ismail Abdul Rahman, Tun Abdul Razak dan Tun Hussein Onn . Jenazah lain ialah Tan Sri Syed Jaafar Albar, Allahyarham Tun Syed Nasir Syed Ismail, Allahyarham Tun Sardon Jubir, Allahyarham Tan Sri Mohamad Noah Omar dan Allahyarham Tan Sri Abdul Kadir Yusuf.[6]